Sylvester sinh ngày 9 tháng 3 năm 1814 ở Anh. Cha của ông, Abraham Joseph là một thương gia. James đã lấy họ là Sylvester khi anhtrai ông đã làm như vậy khi di cư đến Hoa Kỳ - một quốc gia mà thời điểm đó yêu cầu mỗi người dân phải có một cái tên, một tên đệm và họ. Ở tuối 14, ông làsinh viên của Augustus De Morgan tại đại học London. Gia đình ông đã rút ông khỏitrường đại học khi ông bị buộc tội đâm một sinh viên bằng dao. Sau đó ông đãgia nhập học viện Hoàng gia Anh

Sylvester bắt đầu nghiên cứu Toán tại trường cao đẳng St John Cambridge vào năm 1831 với gia sư của mình là John Hymers. Mặc dù các nghiên cứu củaông đã bị gián đoạn trong gần hainăm qua do một căn bệnh kéo dài, ông vẫnđứng thứ hai trong kỳ thi toán học Cambridge nổi tiếng,tuy nhiên ông đã không nhận bằng bởivì sinh viên tốt nghiệp tại thời điểm đó là phải ghi nhận về Ba Mươi Chínđiều của Giáo hội Anh, và Sylvester, là một đảngviên của Do Thái giáo, từ chối làmnhư vậy. Với cùng một lý do, ông đã không thể cạnh tranh cho một học bổnghay có được giảithưởng Smith.Năm 1838 Sylvester trởthành giáo sư triết học tự nhiên tạiĐại học London. Năm 1841,ông được trao bằng Cử nhân và Thạc sĩcủa Đại học Trinity, Dublin. Cùngnăm đó, ông đã chuyển đến Hoa Kỳ để trở thành giáo sư tạitrường Đại học Virginia khoảngsáu tháng, và trở lại Anh vào tháng 11 năm 1843.

Khi trở về nướcAnh, ông học luật, cùng với đồng nghiệp người Anh luật sư / nhà toán học ArthurCayley, người mà hỗ trợ cho ông đáng kể về lý thuyết ma trận trong khi làm việc nhưmột chuyên viên thống kê. Một trong những họcsinh riêng  của ông là Florence Nightingale.Ông đã không có được một vị trí giảng dạy toán học đại học cho đến năm 1855, khiông được bổ nhiệm làm giáo sư toán học tại Học viện Quân sự Hoàng gia Woolwich.Ông nghỉ hưu vàonăm 1869, bởi vì tuổi nghỉ hưu là 55.Học viện Woolwich ban đầu từ chối trả Sylvester lương hưu đầy đủ của mình, vàchỉ nhượng bộ sau một cuộc tranh cãi công khai kéo dài, khi Sylvester gởi bức thư của mình cho tạp chí The Times.

Một trong những niềm đam mê suốt đời của Sylvester là thơ; ôngđọc và dịch tác phẩm từ gốc tiếng Pháp, tiếng Đức, tiếng Ý,tiếng Latin và tiếng Hy Lạp, và nhiều giấy tờ toán học của mình chứa dấu ngoặc kép minh họa từ thơ cổ điển. Saukhinghỉ hưu sớm, Sylvester (1870) xuất bản một cuốnsách mang tên “ The Laws of Verse”, trong đó ông đã cố gắng hệ thống hóa một bộ luật cho phép làm văn trongthơ.

Năm 1872, cuối cùng ông nhận được bằng B.A và M.A từ đại học Cambridge, ông đã bị từ chối lúc trước chỉ với lý do là một Người Do Thái.

Năm 1876  Sylvester một lần nữa vượt qua Đại Tây Dương để trở thành giáo sư nhậm chức của toán học tại Đại học Johns Hopkins mới ở Baltimore, Maryland. Tiền lương của ông là $5.000 (khá hào phóng trong thời gian này), trong đó ông yêu cầu được thanh toán bằng vàng. Sau khi đàm phán, thỏa thuận đã đạt được một mức lương không được trả bằng vàng. Năm 1878, ông sáng lập Tạp chí Toán học Hoa Kỳ. Khi đó ở Hoa kỳ chỉ có một tờ báo toán học là “Analyst”, cuốicùng trở thành tạp chí “Annals of Mathematics.”

Năm 1880, ông chứng minh được rằng mọi phân số a/b với 0<a/b<1 đều có thể viết được dưới dạng các phân số Ai Cập đôi một khác nhau.

Năm 1883, ông trở lại để làm giáo sư hình học tại Đại học Oxford. Ông giữ chức vụ  này cho đến khi ông qua đời ngày 15 tháng 3 năm 1897, mặc dù trong năm 1892 một giáo sư khác được bảo nhiệm vào cùng vị trí với ông

Sylvester phát minh ra một số lượng lớn các thuật ngữ toán học như "ma trận", [5] "đồ thị" (tổ hợp) và "phân biệt". Ông đặt ra thuật ngữ "hàm Ơ-le" cho chức năng hàm Ơ-le φ Euler (n).  Công trình khoa học của ông thu thập được đầy bốn tập. Năm 1880, Hiệp hội Hoàng gia London trao tặng Huân chương Copley cho Sylvester, giải thưởng cao nhất cho những thành tựu khoa học; vào năm 1901,  Huy chương Sylvester được sáng lập theo nguyện vọng của ông để khuyến khích nghiên cứu toán học sau khi ông qua đời. Trong hình học rời rạc, ông được nhớ đến bởi “ Vấn đề Sylvester “ và một kết quả trong “ Vấn đề vườn táo “

Sylvester House, một phần của một ký túc xá đại học tại Đại học Johns Hopkins, được đặt tên để vinh danh ông. Một số giáo sư khác cũng có được vinh hạnh đó.